در زمان قاجاریه این باغ به مدت ۷۵ سال مقر سران ایل قشقایی بود. در این زمان عمارتی در این باغ ساخته شد. اما در زمان سلطنت ناصر الدین شاه قاجار عمارتی دیگر توسط حسین علی خان نصیر الملک پی ریزی شد که با مرگ وی خواهر زاده او ابولقاسم خان نصیر الملک امور باغ ارم را به دست گرفت و عمارت نیمه کاره را تکمیل کرد.